Swarm learning (SL) is an emerging promising decentralized machine learning paradigm and has achieved high performance in clinical applications. SL solves the problem of a central structure in federated learning by combining edge computing and blockchain-based peer-to-peer network. While there are promising results in the assumption of the independent and identically distributed (IID) data across participants, SL suffers from performance degradation as the degree of the non-IID data increases. To address this problem, we propose a generative augmentation framework in swarm learning called SL-GAN, which augments the non-IID data by generating the synthetic data from participants. SL-GAN trains generators and discriminators locally, and periodically aggregation via a randomly elected coordinator in SL network. Under the standard assumptions, we theoretically prove the convergence of SL-GAN using stochastic approximations. Experimental results demonstrate that SL-GAN outperforms state-of-art methods on three real world clinical datasets including Tuberculosis, Leukemia, COVID-19.

Proper functioning of connected and automated vehicles (CAVs) is crucial for the safety and efficiency of future intelligent transport systems. Meanwhile, transitioning to fully autonomous driving requires a long period of mixed autonomy traffic, including both CAVs and human-driven vehicles. Thus, collaboration decision-making for CAVs is essential to generate appropriate driving behaviors to enhance the safety and efficiency of mixed autonomy traffic. In recent years, deep reinforcement learning (DRL) has been widely used in solving decision-making problems. However, the existing DRL-based methods have been mainly focused on solving the decision-making of a single CAV. Using the existing DRL-based methods in mixed autonomy traffic cannot accurately represent the mutual effects of vehicles and model dynamic traffic environments. To address these shortcomings, this article proposes a graph reinforcement learning (GRL) approach for multi-agent decision-making of CAVs in mixed autonomy traffic. First, a generic and modular GRL framework is designed. Then, a systematic review of DRL and GRL methods is presented, focusing on the problems addressed in recent research. Moreover, a comparative study on different GRL methods is further proposed based on the designed framework to verify the effectiveness of GRL methods. Results show that the GRL methods can well optimize the performance of multi-agent decision-making for CAVs in mixed autonomy traffic compared to the DRL methods. Finally, challenges and future research directions are summarized. This study can provide a valuable research reference for solving the multi-agent decision-making problems of CAVs in mixed autonomy traffic and can promote the implementation of GRL-based methods into intelligent transportation systems. The source code of our work can be found at https://github.com/Jacklinkk/Graph_CAVs.

激活压缩训练〜（ACT）已被证明是减少训练深神经网络中记忆消耗的一种有希望的方法。但是，现有的ACT工作依赖于在深神经网络（DNN）训练期间寻找最佳的位宽度以减少量化噪声，从而使过程变得复杂且透明。为此，我们提出了一种简单有效的DNN培训方法。我们的方法是由观察结果激励的：\ emph {DNN向后传播主要取决于激活图的低频组分〜（LFC），而不是高频组件〜（HFC）}。它表明激活图的HFC在DNN训练过程中是高度冗余和可压缩的，这激发了我们提出的双重激活精度〜（分裂）。在培训期间，分裂估计激活图的LFC和HFC，并将HFC压缩到低精度副本中以消除冗余。这可以大大减少记忆消耗，而不会对DNN向后传播的精度产生负面影响。这样，部门可以实现可比的表现与正常培训。三个基准数据集的实验结果表明，在记忆消耗，模型准确性和跑步速度方面，分裂的表现优于最先进的基线方法。

语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。

联合学习通过融合来自本地节点的协作模型来从分散的数据中学习。然而，FedAVG平均的传统基于坐标的模型忽略了每个参数编码的随机信息，并且可能遭受结构特征未对准。在这项工作中，我们提出了Fed2，一个功能对齐的联合学习框架来解决这个问题，通过在协作模型上建立一个坚定的结构特征对齐来解决这个问题。 FED2由两种主要设计组成：首先，我们设计了一个面向功能的模型结构适应方法，以确保不同神经网络结构中的显式功能分配。将结构适应应用于协作模型，可以在非常早期的训练阶段初始化具有类似特征信息的匹配结构。在联合学习过程中，我们提出了一个特征配对的平均方案，以保证对齐的特征分布，并在IID或非IID方案下维护没有特征融合冲突。最终，FED2可以在广泛的同源和异构环境下有效地提高联合学习收敛性能，提供出色的收敛速度，准确性和计算/通信效率。

联合学习（FL）支持地理分布式设备的培训模型。然而，传统的FL系统采用集中式同步策略，提高了高通信压力和模型泛化挑战。 FL的现有优化未能加速异构设备的培训或遭受差的通信效率。在本文中，我们提出了一个支持在异构设备上分散的异步训练的框架的Hadfl。使用本地数据的异质性感知本地步骤本地培训设备。在每个聚合循环中，基于执行模型同步和聚合的概率来选择它们。与传统的FL系统相比，HADFL可以减轻中心服务器的通信压力，有效地利用异构计算能力，并且可以分别实现比Pytorch分布式训练方案分别的最大加速度为3.15倍，而不是Pytorch分布式训练方案，几乎没有损失收敛准确性。

Pretraining is a dominant paradigm in computer vision. Generally, supervised ImageNet pretraining is commonly used to initialize the backbones of person re-identification (Re-ID) models. However, recent works show a surprising result that CNN-based pretraining on ImageNet has limited impacts on Re-ID system due to the large domain gap between ImageNet and person Re-ID data. To seek an alternative to traditional pretraining, here we investigate semantic-based pretraining as another method to utilize additional textual data against ImageNet pretraining. Specifically, we manually construct a diversified FineGPR-C caption dataset for the first time on person Re-ID events. Based on it, a pure semantic-based pretraining approach named VTBR is proposed to adopt dense captions to learn visual representations with fewer images. We train convolutional neural networks from scratch on the captions of FineGPR-C dataset, and then transfer them to downstream Re-ID tasks. Comprehensive experiments conducted on benchmark datasets show that our VTBR can achieve competitive performance compared with ImageNet pretraining - despite using up to 1.4x fewer images, revealing its potential in Re-ID pretraining.

联合学习是一种新兴的分散机器学习方案，允许多个数据所有者在确保数据隐私的同时协同工作。联邦学习的成功在很大程度上取决于数据所有者的参与。为了维持和鼓励数据业主的参与，公正地评估数据所有者提供的数据质量并相应地奖励它们是至关重要的。联邦福利价值，最近由Wang等人提出。 [联合学习，2020]是联合学习框架下的数据值的措施，其满足数据估值的许多所需属性。然而，联邦福利价值设计中潜在的不公平仍然存在因素，因为具有相同本地数据的两个数据所有者可能无法接收相同的评估。我们提出了一种新的措施，称为已联邦福利价值，以提高联邦福利价值的公平性。该设计取决于完成由数据所有者的不同子集的所有可能贡献组成的矩阵。它在温和条件下显示，该矩阵通过利用优化而利用概念和工具而大致低等级。理论分析和实证评估都验证了拟议的措施在许多情况下改善公平性。

垂直联合学习（VFL）引起了越来越多的兴趣，因为它使多个政党具有非重叠功能来增强其机器学习模型，而无需透露其私人数据和模型参数。与其他机器学习算法相似，VFL面对公平性的需求和挑战，即，对某些具有敏感属性的群体，学习的模型可能具有不公平的歧视性。为了解决这个问题，我们在这项工作中提出了一个公平的VFL框架。首先，我们系统地制定了VFL中培训公平模型的问题，其中学习任务被建模为受约束的优化问题。要以联合和保护隐私的方式解决它，我们考虑了问题的等效双重形式，并开发出异步的梯度坐标坐标升级算法，其中一些活动的数据派对在每个通信中执行多个并行的本地化更新，以有效地减少数量的数量沟通回合。服务器发送给被动方的消息是故意设计的，以使本地更新所需的信息不会侵犯数据和敏感属性的隐私。当将算法应用于一般的非Convex-Concove Min-Max问题时，我们严格研究该算法的收敛性。我们证明该算法在$ \ Mathcal {o}中找到了双目标的$ \ delta $ stationary点（\ delta^{ - 4}）$在温和条件下循环。最后，在三个基准数据集上进行的广泛实验证明了我们在培训公平模型中方法的出色性能。

非IID数据对联邦学习产生了艰难的挑战。在本文中，我们探讨了促进具有类似数据的客户端之间的成对合作的新颖思想。我们提出了Fedamp，一种采用联合细心信息的新方法，以促进类似客户协作更多。我们为凸和非凸模型建立了FedAMP的收敛，并提出了一种启发式方法，以进一步提高FEDAMP作为个性化模型时的联邦神经网络的性能。我们对基准数据集的广泛实验证明了所提出的方法的卓越性能。